AI Papers Daily

#Adaptive Clipping

2 篇

Group Adaptive Clipping Policy Optimization

组自适应裁剪策略优化（GAPO）

🧭 RLVR 训练 · 自适应裁剪 ★ 深度解读

University of Toronto · Amazon

将 RLVR 中固定裁剪上界改为按组内正确数 c 闭式缩放，保护稀有正确 rollouts 的探索信号

📌 工作参考价值（4 点）

• 在电商/搜索/对话式推荐中用 GRPO/GSPO 做 LLM 微调时，可以直接把固定 clip 上界换成 GAPO 的闭式自适应上界：epsilon_hi(c) = epsilon_lo + (epsilon_max - epsilon_lo) * (k-c)/(k-1)，只需根据当前 prompt 的 group 内正确样本数 c 调整 clip，几乎不增加超参数，且无需 reward shaping。
• 注意 advantage 归一化：不要对 group 内 reward 做 std normalize，否则会放大全对/全错组的权重，稀释稀有正确样本的学习信号；保留原始 advantage 更利于探索，这一结论可以直接迁移到 query 生成或商品文案生成的 RLVR 训练。
• 当发现模型 pass@1 尚可但 pass@k 多样性下降、困难 query 覆盖变差时，优先检查 clip fraction 是否对低 c rollouts 过高，尝试把固定上界改为按 c 线性插值，成本极低，能有效保留困难 query 上的正确生成模式。
• 若条件允许，尽量使用 sequence-level IS 而非 token-level IS；论文中 sequence-level 变体在数学基准上 pass@1 更高，且在相同 clip range 下比 token-level 更稳定，可作为架构选择参考。

Training | 2026-08-30 | HF Daily | score 8/10

RLVRGRPOGSPOAdaptive ClippingLLM ReasoningPPO

Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation

面向生成式推荐的噪声鲁棒自适应损失平衡 GRPO

🧭 生成式推荐 · RL后训练 ★ 深度解读

JD.com · Waseda University · University of Electronic Science and Technology of China

通过样本级门控让 GRPO 只在策略不确定且奖励可靠时才更新，解决奖励模型噪声问题。

📌 工作参考价值（4 点）

• 在生成式商品推荐（如 Semantic ID 召回）的 RL 后训练中，不要均匀信任奖励模型：对每个样本分别计算策略侧难度（ground truth 是否落在策略 top-τ 之外）和奖励侧判别力（RM 是否把正确项排在头部且彻底压制无关负例），仅当两者同时满足时才施加 GRPO 更新，其余样本仅用监督 NLL 损失。这种选择性更新可避免重复奖励模型噪声。
• 保留监督 NLL 作为稳定锚点，GRPO 作为附加项，通过一个二值 clip 系数 gating。超参数只需要两个比例 τ、ρ（阈值比例），基于排名确定，不受绝对分值影响，易于迁移和调参。
• 奖励判别力诊断中，使用来自同一 batch 其他 query 的生成负例作为“跨样本扰动项”，无需额外模型即可检验 RM 的局部校准程度，计算成本极低，是实用技巧。
• 经过离线（HR 提升与低幻觉）和线上 A/B（有效 IPV、UCTR、停留时长显著增长，类目多样性未降）验证，方法在真实电商场景中可安全、稳定地提升 RL 训练效果，避免 reward hacking 引起的多样性坍塌。

GenRec | 2026-06-07 | cs.IR | score 10/10

Generative RecommendationGRPOReward NoiseAdaptive ClippingE-commerce